Stepwise-Querying: Distilling Reasoning without Access to Teacher Chain-of-Thought
逐步查询：无教师思维链访问下的推理蒸馏
🧭 LLM 推理蒸馏 · 黑盒 query 细化
Institute of AI and Future Network, Beijing Normal University
黑盒教师下用逐步独立查询蒸馏推理，无需 CoT，14/16 对比最优
📌 工作参考价值（4 点）
- 黑盒大模型 API 做推理蒸馏：不要只拿 final answer/brief solution，把任务拆成单步 derivation、validity check、correction 多轮 query，再拼装 SFT；业务侧拿不到 teacher CoT 权限也能做小模型推理增强。
- 数据过滤别只按 final answer：答案错误但中间推理有效的轨迹可保留，尤其适合商品属性抽取、query 改写逻辑、广告文案生成等任务；可用 frozen student 对正确中间步骤的 log-ratio（类似 SEIG）评估哪些 step 仍有信息增益。
- 拆解粒度要控成本：逐步 query 有收益但过度分解收益有限，工程上优先拆到关键推导与校验，避免过多 query 调用和延迟。
- 对 Agent 规划训练可复用：若用大模型生成多步决策轨迹，可把每步 decision/check/修正作为独立 query 组装成微调数据，提升小模型规划稳定性。